1
00:00:00,000 --> 00:00:04,760
Yerel olmaya çalışırken pek çok sorunla karşılaştım

2
00:00:02,320 --> 00:00:07,120
Yüksek Lisans Claude koduyla çalışıyor.

3
00:00:04,760 --> 00:00:09,440
Kilo kodu, Açık Pençeli. tuttum

4
00:00:07,120 --> 00:00:12,240
bu sinir bozucu istemci zaman aşımı hatasını alıyorum

5
00:00:09,440 --> 00:00:14,360
LM Studio'da Ollama sadece siler

6
00:00:12,240 --> 00:00:16,520
Açık Pençe ayarım üzerinden. Ama istedim

7
00:00:14,360 --> 00:00:18,880
nasıl yapabileceğimin temeline inmek için

8
00:00:16,520 --> 00:00:21,000
yerel olarak çalışan en saf kurulumu elde edin

9
00:00:18,880 --> 00:00:23,440
bilgisayarımdaki modelleri buldum ve

10
00:00:21,000 --> 00:00:25,240
Llama.cpp'de yanıtlayın. Yani bugün buradayız

11
00:00:23,440 --> 00:00:26,840
bu kurulumu yapacağım ve nasıl yapabileceğinizi

12
00:00:25,240 --> 00:00:28,920
çalıştır ve dikkatlice takip edebilirim

13
00:00:26,840 --> 00:00:30,120
sıfır sorun yaşayacağınızı garanti edin. Şimdi

14
00:00:28,920 --> 00:00:31,560
birçok insanın farkına varmadığı şey

15
00:00:30,120 --> 00:00:34,040
LM Studio ve Ollama'nın aslında

16
00:00:31,560 --> 00:00:36,880
sadece Llama.cpp sarmalayıcıları. Onlar sadece

17
00:00:34,040 --> 00:00:38,680
yeni ve güzel bir kullanıcı arayüzü sağlayın ve

18
00:00:36,880 --> 00:00:40,880
bu konuya gireceğiz ama Ollama sadece

19
00:00:38,680 --> 00:00:43,680
bunu ekledi ancak LM Studio'da bu vardı

20
00:00:40,880 --> 00:00:45,840
MLX'i çalıştırma seçeneği oldukça uzun

21
00:00:43,680 --> 00:00:48,000
modeller. Ollama'nın bu hakkı yalnızca bir kişi için var

22
00:00:45,840 --> 00:00:50,520
model oysa tüm modelleri alıyorsunuz

23
00:00:48,000 --> 00:00:52,720
Hugging Face'te bulabilirsiniz

24
00:00:50,520 --> 00:00:54,200
LM Studio'dan indirilebilir. Ve ile

25
00:00:52,720 --> 00:00:56,120
bu yöntemden yararlanacağız

26
00:00:54,200 --> 00:00:58,640
Turbo Quant diyorlar. Turbo Quant (önceki değeri)

27
00:00:56,120 --> 00:01:01,920
Google'ın bu yıl duyurduğu bir şey

28
00:00:58,640 --> 00:01:04,960
bu kaçınılmaz olarak nicelleştirmenin yeni bir yoludur

29
00:01:01,920 --> 00:01:06,160
nicemleştirmek nicemleştirmek

30
00:01:04,960 --> 00:01:08,200
bu bir mi

31
00:01:06,160 --> 00:01:11,040
gerçek bir kelime mi? Bu etkili bir yoldur

32
00:01:08,200 --> 00:01:12,960
aşırı sıkıştırma. Tekrar söylüyorum ben değilim

33
00:01:11,040 --> 00:01:15,440
tüm bunlarda uzman ama bu bir

34
00:01:12,960 --> 00:01:17,800
anahtar değerini optimize etmenin ilginç bir yolu veya

35
00:01:15,440 --> 00:01:22,600
KV önbelleği ve henüz yapılmamışken

36
00:01:17,800 --> 00:01:25,600
Llama.cpp'ye dahil edildi ancak Tom burada

37
00:01:22,600 --> 00:01:27,880
ileri gitti ve bir şube yarattı

38
00:01:25,600 --> 00:01:31,040
bunu sağlar. Sonunda zamanla hayır

39
00:01:27,880 --> 00:01:33,160
Llama.cpp'de bulacağımızdan şüpheliyiz

40
00:01:31,040 --> 00:01:35,680
şimdi bunu yapan kişi Tom'dur

41
00:01:33,160 --> 00:01:37,880
ona bir teşekkür et ona bir teşekkür ver onun hakkını ver

42
00:01:35,680 --> 00:01:39,320
orada repo'suna bir yıldız ver. Yani

43
00:01:37,880 --> 00:01:41,520
temel modelimiz var ve

44
00:01:39,320 --> 00:01:43,400
nicemleme gerçekleşir

45
00:01:41,520 --> 00:01:45,520
modelin kendisi üzerinde gerçekten yapamayız

46
00:01:43,400 --> 00:01:48,320
bununla ilgili herhangi bir şey sadece seçiyoruz

47
00:01:45,520 --> 00:01:50,320
kullanmak istediğimiz model KV depolama alanıdır

48
00:01:48,320 --> 00:01:52,840
optimize etmek istiyoruz ve bu

49
00:01:50,320 --> 00:01:54,520
Turbo Quant'ın yaptığı tam olarak budur. Şimdi

50
00:01:52,840 --> 00:01:57,200
yapmak isteyeceğin ilk şey

51
00:01:54,520 --> 00:01:59,160
Tom ve Turbo'ya doğru gidiyor

52
00:01:57,200 --> 00:02:02,080
Quant artı. Her şeyi bağlantılı bırakacağım

53
00:01:59,160 --> 00:02:04,240
aşağıda ve burada öğrenilecek çok şey var

54
00:02:02,080 --> 00:02:06,560
ve her şeyi bildiğimi iddia etmeyeceğim

55
00:02:04,240 --> 00:02:08,560
bu şeylerden ama bunun üzerinden geçeceğiz

56
00:02:06,560 --> 00:02:10,800
adım adım ve göstermeye çalışacağım

57
00:02:08,560 --> 00:02:12,320
gerçekten önemsemeniz gereken şeyler.

58
00:02:10,800 --> 00:02:13,760
Bu isteyeceğiniz bölüm

59
00:02:12,320 --> 00:02:16,640
gerçekten önemsemek ve ilk şey

60
00:02:13,760 --> 00:02:19,120
yapmak istediğin aslında Git'i klonlamak

61
00:02:16,640 --> 00:02:21,120
repo. Ve bu bir ders olmayacak

62
00:02:19,120 --> 00:02:23,160
terminal ama açıklamak için elimden geleni yapacağım

63
00:02:21,120 --> 00:02:24,960
işte burada. Kendinize bir iyilik yapın ve

64
00:02:23,160 --> 00:02:26,640
İndir Warp bağlantıları aşağıdadır

65
00:02:24,960 --> 00:02:28,480
Açıklama. Bu başaracak

66
00:02:26,640 --> 00:02:31,040
işler ters giderse çok daha kolay

67
00:02:28,480 --> 00:02:32,760
çünkü bu yapay zeka destekli bir terminal ve

68
00:02:31,040 --> 00:02:34,640
sadece bunu anlamanıza yardımcı olacaktır. o

69
00:02:32,760 --> 00:02:36,240
bunu eski makinelerimden birinde yaptım

70
00:02:34,640 --> 00:02:38,840
belli ki bir çeşit çatışma vardı ya da

71
00:02:36,240 --> 00:02:40,880
bunun gibi bir şey. Yani, terminal içinde

72
00:02:38,840 --> 00:02:42,720
yönünü değiştirmek olan CD'yi istiyorsunuz

73
00:02:40,880 --> 00:02:44,800
doğrudan bulunduğunuz dizine

74
00:02:42,720 --> 00:02:46,280
bu uygulamayı depolamak istiyorum. Artık değil

75
00:02:44,800 --> 00:02:48,400
geleneksel bir uygulama olacak

76
00:02:46,280 --> 00:02:49,840
çift tıklayınca açılıyor. o

77
00:02:48,400 --> 00:02:52,040
kelimenin tam anlamıyla indireceksin

78
00:02:49,840 --> 00:02:54,800
bunu oluşturan ham dosyalar

79
00:02:52,040 --> 00:02:56,200
uygulama. Yani benim önereceğim şey CD

80
00:02:54,800 --> 00:02:58,520
ve eğer yerini biliyorsanız

81
00:02:56,200 --> 00:03:00,520
dizini buraya yazmanız yeterli. biliyorum

82
00:02:58,520 --> 00:03:02,480
benimki örnek olarak sitelerde

83
00:03:00,520 --> 00:03:03,920
benimkini nereye indirmek istiyorum veya eğer

84
00:03:02,480 --> 00:03:06,760
bu konuda yepyenisin, kendini aç

85
00:03:03,920 --> 00:03:09,000
Finder kelimenin tam anlamıyla sadece klasörü sürükleyin

86
00:03:06,760 --> 00:03:11,200
orada ve enter'a tıklayın, değişecek

87
00:03:09,000 --> 00:03:12,520
o dizin. Enter'a basın, zaten yaptım

88
00:03:11,200 --> 00:03:14,400
anladım o yüzden muhtemelen başarısız olacak

89
00:03:12,520 --> 00:03:16,520
orada ama olacak

90
00:03:14,400 --> 00:03:18,640
bu kodu indirecektir. Sıradaki biz

91
00:03:16,520 --> 00:03:19,960
CD'ye bu klasöre gidiyorum ama Warp's

92
00:03:18,640 --> 00:03:21,920
muhtemelen bu durumda bize yardım edecek

93
00:03:19,960 --> 00:03:23,920
yapılır.

94
00:03:21,920 --> 00:03:27,560
Ve kesinlikle öyle.

95
00:03:23,920 --> 00:03:29,160
Sonra şubeye bakarsın

96
00:03:27,560 --> 00:03:32,160
çünkü bunların hepsi GitHub'da saklanıyor

97
00:03:29,160 --> 00:03:34,080
dediğim gibi tüm kod bunu yaşıyor

98
00:03:32,160 --> 00:03:36,680
onların yaptıkları özel bir özellik

99
00:03:34,080 --> 00:03:37,960
mantıklı olan ana dalın dışında.

100
00:03:36,680 --> 00:03:40,040
Temel olarak kontrol etmek isteyeceksiniz

101
00:03:37,960 --> 00:03:42,120
buradaki dalın dışında yine ben

102
00:03:40,040 --> 00:03:44,800
zaten var, o yüzden şu satırı kopyala

103
00:03:42,120 --> 00:03:46,280
kodu oraya yapıştırın ve olması gerekir

104
00:03:44,800 --> 00:03:47,200
sadece şunu kontrol et. yapmayacağım

105
00:03:46,280 --> 00:03:49,400
bu.

106
00:03:47,200 --> 00:03:52,480
Ve açıkçası biz burada Apple silikonuz

107
00:03:49,400 --> 00:03:53,720
ama eğer Nvidia ya da AMD iseniz gidiyorsunuz

108
00:03:52,480 --> 00:03:55,840
ilgilileri takip etmek istiyorum

109
00:03:53,720 --> 00:03:58,240
talimatlar ama dediğim gibi bir metal ve

110
00:03:55,840 --> 00:04:00,280
burası diğer makinemdeki Warp'ın yeri

111
00:03:58,240 --> 00:04:01,800
debriyaj geldi çünkü bulamadı

112
00:04:00,280 --> 00:04:04,120
bir şey ya da bir çatışma vardı

113
00:04:01,800 --> 00:04:06,200
başka bir yerde bu komutu yapıyordum ve ben

114
00:04:04,120 --> 00:04:08,160
Warp'ı kullanarak bu aşamayı geçebiliyorum

115
00:04:06,200 --> 00:04:10,000
yararlı bir araç olarak. Ve sonra sen

116
00:04:08,160 --> 00:04:12,320
aslında yapıyı çalıştırmak isteyeceksiniz

117
00:04:10,000 --> 00:04:14,480
yine zaten sahip olduğum senaryo ama

118
00:04:12,320 --> 00:04:16,400
sadece bunu tekrar buna ve buna kopyala

119
00:04:14,480 --> 00:04:18,200
biraz zaman alabilir ve sonra

120
00:04:16,400 --> 00:04:21,040
bununla kalacak olan şey

121
00:04:18,200 --> 00:04:24,880
burada teslim alınan klasör

122
00:04:21,040 --> 00:04:26,560
ve yapı kutusunda bu temelde budur

123
00:04:24,880 --> 00:04:27,680
bunların hepsini farklı yarattın

124
00:04:26,560 --> 00:04:29,680
küçük uygulamalar. biz değiliz

125
00:04:27,680 --> 00:04:32,280
bunların çoğuyla ilgileniyoruz sadece

126
00:04:29,680 --> 00:04:34,360
Llama.cpp ile ilgileniyorum

127
00:04:32,280 --> 00:04:36,320
ve biz Lama ile ilgileniyoruz

128
00:04:34,360 --> 00:04:38,200
sunucu burada. Burada şunu söylemekte fayda var

129
00:04:36,320 --> 00:04:40,200
yalnızca bir kez yapılması gerekecek ve daha sonra

130
00:04:38,200 --> 00:04:41,920
CD ile bu klasöre gidersiniz

131
00:04:40,200 --> 00:04:44,240
bu noktadan sonra her şeyi yapın

132
00:04:41,920 --> 00:04:45,880
Bu oluşturma adımını yalnızca bir kez yaparsınız. yani şimdi

133
00:04:44,240 --> 00:04:48,160
tüm bunlar yapıldıktan sonra gideceğiz

134
00:04:45,880 --> 00:04:51,200
aslında bir model seçmek istiyoruz

135
00:04:48,160 --> 00:04:53,360
kullanmak istiyorum. Bunun için şunu yapacağız:

136
00:04:51,200 --> 00:04:54,680
temelde Hugging Face'e gidin

137
00:04:53,360 --> 00:04:56,640
herkesin tüm dosyalarını yüklediği yer

138
00:04:54,680 --> 00:04:58,600
modeller ve bazı ham ürünler var

139
00:04:56,640 --> 00:05:01,000
modeller

140
00:04:58,600 --> 00:05:03,080
Qwen 3.6 gibi biz de bunu yapıyoruz

141
00:05:01,000 --> 00:05:05,520
bugün ilgileneceğim. Bu

142
00:05:03,080 --> 00:05:08,120
ham dosyalar. Buraya giriyoruz ve orada bir

143
00:05:05,520 --> 00:05:09,960
tüm bu güvenli tensörlerden bir demet

144
00:05:08,120 --> 00:05:12,200
dosyalar ve bunun gibi şeyler. biz değiliz

145
00:05:09,960 --> 00:05:14,240
bugün bunların hepsine dokunacağım çünkü

146
00:05:12,200 --> 00:05:17,360
insanların nezaketle yaptıklarını ve eğer biz

147
00:05:14,240 --> 00:05:19,280
Qwen 3.6'yı arayın, olduğumuz şey

148
00:05:17,360 --> 00:05:22,920
dahil ettiğimizden emin olmak isteyeceğiz

149
00:05:19,280 --> 00:05:22,920
indirmek isteyeceksiniz

150
00:05:22,960 --> 00:05:27,920
buradakilerden biri. Artık popüler bir

151
00:05:25,560 --> 00:05:31,200
güvenilir olan Unsloth, onlar başka

152
00:05:27,920 --> 00:05:34,680
AI uygulaması ve sahip oldukları

153
00:05:31,200 --> 00:05:37,040
modeli GGUF olarak oluşturdum

154
00:05:34,680 --> 00:05:39,240
bu temelde bir model sadece

155
00:05:37,040 --> 00:05:41,280
tek bir dosyaya yoğunlaştırdık

156
00:05:39,240 --> 00:05:43,720
daha sonra kullanabiliriz. Ve sadece parçalamak için

157
00:05:41,280 --> 00:05:46,680
buradaki asıl isim modeldir

158
00:05:43,720 --> 00:05:48,160
açıkçası Qwen 3.6 35 milyar

159
00:05:46,680 --> 00:05:50,720
parametre modeli ve çünkü bu bir

160
00:05:48,160 --> 00:05:52,720
uzman modelinin karışımı 3 milyar

161
00:05:50,720 --> 00:05:55,960
aktif parametreler. bizde hiç yok

162
00:05:52,720 --> 00:06:00,000
Qwen 3.6'nın diğer modeli ama bakarsak

163
00:05:55,960 --> 00:06:01,760
Qwen 3.5'te 27 milyar modelimiz var

164
00:06:00,000 --> 00:06:03,280
burada 9 milyarlık bir parametremiz var

165
00:06:01,760 --> 00:06:04,720
buradaki modelde 27 milyarımız var

166
00:06:03,280 --> 00:06:07,080
parametre modeli burada. Bu nasıl bir şey

167
00:06:04,720 --> 00:06:09,000
Bu model adlarını okumak için. Ve bununla

168
00:06:07,080 --> 00:06:10,920
bu bölüme bir göz atmak istersiniz

169
00:06:09,000 --> 00:06:13,520
burada. Artık bu tamamen olacak

170
00:06:10,920 --> 00:06:15,880
ne kadar VRAM kullandığınıza bağlı

171
00:06:13,520 --> 00:06:18,040
var. Kova yükünüz varsa

172
00:06:15,880 --> 00:06:20,000
yüzlerce konser VRAM o zaman

173
00:06:18,040 --> 00:06:22,600
gerçekten 16 bit'e bakıyorum ki

174
00:06:20,000 --> 00:06:24,360
nicelenmemiş versiyon yok

175
00:06:22,600 --> 00:06:26,880
modele eklenen sıkıştırma türü

176
00:06:24,360 --> 00:06:27,880
bu muhtemelen tam yağlı bir versiyondur

177
00:06:26,880 --> 00:06:29,600
olmak istiyorum

178
00:06:27,880 --> 00:06:33,320
bunu indirirken güvende olacaksın

179
00:06:29,600 --> 00:06:36,040
bir. 64 gigabayt RAM'im var o yüzden

180
00:06:33,320 --> 00:06:37,720
tüm bu sürümleri incelemeye başlayın

181
00:06:36,040 --> 00:06:40,040
modelin. Bunlar kuantizasyon

182
00:06:37,720 --> 00:06:42,520
ne kadar sıkıştırıldıklarına ilişkin seviyeler

183
00:06:40,040 --> 00:06:44,680
sürdürmeye çalışmak için

184
00:06:42,520 --> 00:06:47,480
kalite ama boyutunu küçült ama

185
00:06:44,680 --> 00:06:49,960
gerçekçi olarak ne kadar çok nicelenirseniz

186
00:06:47,480 --> 00:06:51,520
ne kadar çok fedakarlık o kadar çok zarar

187
00:06:49,960 --> 00:06:53,640
model gerçekleşecek. Yani

188
00:06:51,520 --> 00:06:55,600
daha yüksekte hangisi daha iyi olabilir

189
00:06:53,640 --> 00:06:58,320
bu yüzden daha fazla VRAM hakkında konuşuyoruz

190
00:06:55,600 --> 00:07:00,360
daha iyi. Ancak başka bir katman daha var

191
00:06:58,320 --> 00:07:02,800
hangisinin tekrar olduğunu düşünmemiz gerekiyor

192
00:07:00,360 --> 00:07:05,520
bu KV depolaması bu yüzden Turbo Quant

193
00:07:02,800 --> 00:07:07,720
çok kullanışlı oluyor çünkü

194
00:07:05,520 --> 00:07:09,600
bunu sıkıştırır ve azaltır

195
00:07:07,720 --> 00:07:11,800
Bir modelden daha fazlasını sıkıştırmak için.

196
00:07:09,600 --> 00:07:15,520
Oysa geleneksel olarak arayabilirsiniz

197
00:07:11,800 --> 00:07:17,440
üstüne 15 konser daha ayırın

198
00:07:15,520 --> 00:07:20,400
ihtiyacınız olan gerçek model boyutu

199
00:07:17,440 --> 00:07:23,360
Bunu desteklemek için VRAM'i artık düşünebiliriz

200
00:07:20,400 --> 00:07:26,640
yaklaşık 10 gig daha eklemekle ilgili. Yani bir

201
00:07:23,360 --> 00:07:29,480
örneğin 64 konserim koşamıyor bile

202
00:07:26,640 --> 00:07:33,720
ancak bu model 8 bitlik sürüm

203
00:07:29,480 --> 00:07:36,560
38 gig modeli artı 48 arasında 10 gig

204
00:07:33,720 --> 00:07:39,160
ve 50 konser diyelim ki bu benim bütçeme uyacak

205
00:07:36,560 --> 00:07:40,920
tam içeriğe sahip makine şudur

206
00:07:39,160 --> 00:07:43,200
ilgilendiğimiz bağlam miktarı.

207
00:07:40,920 --> 00:07:44,960
Ancak yine ne kadar VRAM'a bağlı olarak

208
00:07:43,200 --> 00:07:47,080
bunu yaparsan daha aşağı inmek zorunda kalabilirsin ve

209
00:07:44,960 --> 00:07:49,000
gittikçe alçalmaya başlıyor

210
00:07:47,080 --> 00:07:51,880
bunu nicelleştirdiğinizde tartışılabilir

211
00:07:49,000 --> 00:07:53,960
3 bit 2 bit ve 1 bit. Yani

212
00:07:51,880 --> 00:07:56,640
ancak bu size bağlı olacaktır

213
00:07:53,960 --> 00:07:59,280
sahip olduğunuz RAM miktarı ne olacağını belirleyecek

214
00:07:56,640 --> 00:08:02,120
gidebileceğiniz nicemleme düzeyi. Şimdi

215
00:07:59,280 --> 00:08:05,080
Excel'de sekizi kuantize ettik

216
00:08:02,120 --> 00:08:07,600
ve K onların niceleme yöntemidir

217
00:08:05,080 --> 00:08:10,560
o. Burada başkaları da var IQ

218
00:08:07,600 --> 00:08:11,880
MXFP4'ünüz var

219
00:08:10,560 --> 00:08:14,440
bu farklı türlerin hepsine sahipsiniz

220
00:08:11,880 --> 00:08:16,000
kuantizasyon. Dürüst olmak gerekirse ben her zaman sadece

221
00:08:14,440 --> 00:08:19,360
K olanlara bakın. Bu daha fazlası

222
00:08:16,000 --> 00:08:21,560
Bir modeli nicelemenin modern yolu. Ve sonra

223
00:08:19,360 --> 00:08:25,880
bunun içinde başka bir çeşit var

224
00:08:21,560 --> 00:08:28,320
yine ekstra büyük veya orta veya küçük

225
00:08:25,880 --> 00:08:30,840
bir tür mikro ayarlamalar yapıldı

226
00:08:28,320 --> 00:08:32,479
daha da ileri götüren kuantizasyon türü

227
00:08:30,840 --> 00:08:35,080
aşağı

228
00:08:32,479 --> 00:08:36,760
kapladığı alan miktarı. Uzun

229
00:08:35,080 --> 00:08:39,880
kısacası gitmek isteyeceksiniz

230
00:08:36,760 --> 00:08:42,880
mümkün olduğu kadar yüksek bit hızı

231
00:08:39,880 --> 00:08:45,320
mümkün olduğunca daha büyük boyutta

232
00:08:42,880 --> 00:08:48,240
ve temelde sadece sayıya bakıyorum

233
00:08:45,320 --> 00:08:49,480
RAM'inize göre gigabayt miktarı

234
00:08:48,240 --> 00:08:51,520
isteyeceğin şey

235
00:08:49,480 --> 00:08:53,760
umursa. Yani sadece

236
00:08:51,520 --> 00:08:55,160
indirmek istediğin sürümü ben

237
00:08:53,760 --> 00:08:56,400
zaten bunu zaten yaptım

238
00:08:55,160 --> 00:09:00,160
biraz zaman alacak. ben sadece

239
00:08:56,400 --> 00:09:02,320
38 gig değerinde 30 gig indirildi

240
00:09:00,160 --> 00:09:04,960
model ve sadece bir model olarak indirilmelidir

241
00:09:02,320 --> 00:09:08,480
İndirilenler klasörünüze tek bir dosya.

242
00:09:04,960 --> 00:09:11,120
Şimdi buradaki uygulama klasörümüze geri dönüyoruz

243
00:09:08,480 --> 00:09:12,960
eğer geriye doğru gidersek ve oraya

244
00:09:11,120 --> 00:09:14,640
küçük bir modeller klasörü olmalı. Bu

245
00:09:12,960 --> 00:09:16,640
model herhangi bir yerde saklanabilir ama ben sadece

246
00:09:14,640 --> 00:09:19,000
bunun çok daha kolay ve çok daha basit olduğunu düşünüyorum

247
00:09:16,640 --> 00:09:22,920
sadece buradaki bu alanda saklamak için. ben

248
00:09:19,000 --> 00:09:24,920
GGUF modelim Qwen 3.6'yı indireceğim

249
00:09:22,920 --> 00:09:28,560
oradaki klasöre. Bunu görebilirsin

250
00:09:24,920 --> 00:09:30,360
38.45 konser ve burası çok güzel bir yer

251
00:09:28,560 --> 00:09:31,600
çalışmamız için. Eğlencenin yeri burası

252
00:09:30,360 --> 00:09:34,920
başlar.

253
00:09:31,600 --> 00:09:36,920
Yani buradaki derleme betiğine gelirsek

254
00:09:34,920 --> 00:09:39,120
hangisi

255
00:09:36,920 --> 00:09:40,920
hadi önce CLI'yi çalıştıralım, bu

256
00:09:39,120 --> 00:09:42,400
güzel ve kolay. Şimdi gideceğim

257
00:09:40,920 --> 00:09:45,280
buradaki tüm bu parametreler aracılığıyla

258
00:09:42,400 --> 00:09:47,240
seninle. Bunu buraya yapıştırırsanız

259
00:09:45,280 --> 00:09:50,560
onu çalıştırmak için gereken budur. Şimdi biz

260
00:09:47,240 --> 00:09:52,920
bir sorguda geçmeyecekler

261
00:09:50,560 --> 00:09:55,600
yani bunu zaten silebiliriz. Biz yapmıyoruz

262
00:09:52,920 --> 00:09:58,280
zencefile ihtiyacımız var ve N100 varlığına ihtiyacımız yok

263
00:09:55,600 --> 00:10:00,520
Mac'te. Bu ne kadar G G kaç

264
00:09:58,280 --> 00:10:02,440
Belirleyeceğiniz GPU çekirdekleri

265
00:10:00,520 --> 00:10:03,916
modeli. Gerçekten endişelenmiyoruz

266
00:10:02,440 --> 00:10:03,920
çünkü Mac kullanıyoruz.

267
00:10:03,916 --> 00:10:06,080
>> [kahkaha atar]

268
00:10:03,920 --> 00:10:07,960
>> Şimdi bu, kullandığımız KV depolama alanıdır.

269
00:10:06,080 --> 00:10:09,840
hakkında konuş. Şimdi Tom şunu yaptı:

270
00:10:07,960 --> 00:10:11,720
burada araştırın. iddia etmeyeceğim

271
00:10:09,840 --> 00:10:13,720
İsa ol. Tom İsa olmalı ama o

272
00:10:11,720 --> 00:10:17,440
burada birçok test yaptım

273
00:10:13,720 --> 00:10:20,480
modeli nicelemenin farklı yolları.

274
00:10:17,440 --> 00:10:24,200
Ve uzun lafın kısası, bunun sonucu

275
00:10:20,480 --> 00:10:25,760
asimetrik nicemleme şunu alır mı

276
00:10:24,200 --> 00:10:28,320
tavizsiz

277
00:10:25,760 --> 00:10:30,800
modelin performansı

278
00:10:28,320 --> 00:10:33,360
Turbo Quant'tan yararlanılıyor. Simetrik

279
00:10:30,800 --> 00:10:35,840
Turbo Quant, sen

280
00:10:33,360 --> 00:10:38,280
ilginç olan model performansı.

281
00:10:35,840 --> 00:10:40,840
Yani, buraya geri döndüğümde,

282
00:10:38,280 --> 00:10:44,760
V depolamayı olduğu gibi bırakmanızı tavsiye ediyor

283
00:10:40,840 --> 00:10:47,360
Turbo 3, ancak K depolama aslında

284
00:10:44,760 --> 00:10:51,120
asimetrik olarak nicemleme. Yani,

285
00:10:47,360 --> 00:10:53,800
burada veya ve Turbo'da 8 bit olarak niceleme

286
00:10:51,120 --> 00:10:56,840
V depolamalı 3 veya Turbo 4. Şimdi,

287
00:10:53,800 --> 00:10:59,520
bu varsayılandır. Yani, uzun süre yapabiliriz

288
00:10:56,840 --> 00:11:02,080
sadece onu sil ve biz olabiliriz

289
00:10:59,520 --> 00:11:03,800
bundan oldukça memnunum. Şimdi,

290
00:11:02,080 --> 00:11:06,800
bu yeni bir hatta geçmemizi sağlar,

291
00:11:03,800 --> 00:11:09,040
bu yüzden endişelenmeyin. FA'yi istiyoruz

292
00:11:06,800 --> 00:11:11,800
ve aslında isteyeceğiz

293
00:11:09,040 --> 00:11:15,400
bunu buradan sil ve elimizde kalsın

294
00:11:11,800 --> 00:11:16,880
temelde budur. Şimdi C olacak

295
00:11:15,400 --> 00:11:19,720
çok önemli. Bu miktar

296
00:11:16,880 --> 00:11:21,600
modelin yapmasına izin verdiğiniz bağlam

297
00:11:19,720 --> 00:11:23,240
var. Şimdi, eğer karşılaşırsanız

298
00:11:21,600 --> 00:11:25,520
sorunları azaltmanız gerekebilir.

299
00:11:23,240 --> 00:11:27,240
bağlam. Yani, tekrar şunları yapabilirsiniz:

300
00:11:25,520 --> 00:11:29,160
modeli sertinize takın

301
00:11:27,240 --> 00:11:31,200
sürün, ancak tüm bağlamı sığdırabilir misiniz?

302
00:11:29,160 --> 00:11:33,560
miktar? Birini sıkabilirsin

303
00:11:31,200 --> 00:11:36,640
biraz daha fazla meyve suyu diyelim, çünkü

304
00:11:33,560 --> 00:11:38,400
örneğin burada 40 gig RAM var.

305
00:11:36,640 --> 00:11:40,600
Um, bunu indirebilirsin

306
00:11:38,400 --> 00:11:42,640
düzey, ancak bağlamı çok azaltın

307
00:11:40,600 --> 00:11:44,320
bu sadece birkaç konser alır

308
00:11:42,640 --> 00:11:46,520
uzay. Yani, sen yönetiyorsun

309
00:11:44,320 --> 00:11:50,839
bağlam böyle. yeterince şanslıyım

310
00:11:46,520 --> 00:11:55,520
Bu M1 Max'te 64 GB RAM'e sahip olmak. Yani,

311
00:11:50,839 --> 00:11:58,800
gidersek ne yapmayı öneririm?

312
00:11:55,520 --> 00:12:01,280
Quen 3.6 burada, şunu buluyor:

313
00:11:58,800 --> 00:12:03,400
penceresinin bağlam boyutu

314
00:12:01,280 --> 00:12:05,839
modeli. Yani, eğer sadece bağlamı ararsam

315
00:12:03,400 --> 00:12:05,839
burada,

316
00:12:06,000 --> 00:12:10,320
buradaki bağlam uzunluğu 262.144'tür.

317
00:12:10,440 --> 00:12:14,320
Bir milyon jetona kadar genişletilebilir. biz

318
00:12:12,880 --> 00:12:16,720
bunu zorlamayacağım. ben gidiyorum

319
00:12:14,320 --> 00:12:20,040
bu numarayı oraya kopyalayın ve gerçekten verin

320
00:12:16,720 --> 00:12:22,360
kendime maksimum bağlam sayısı

321
00:12:20,040 --> 00:12:24,400
boyut. Ve dürüst olmak gerekirse,

322
00:12:22,360 --> 00:12:26,440
bunu şimdiye kadar birkaç kez yaptıktan sonra,

323
00:12:24,400 --> 00:12:28,080
her zaman bir dengeleme eylemidir

324
00:12:26,440 --> 00:12:29,920
ne yapıyorsun, ne kadar bağlam içindesin

325
00:12:28,080 --> 00:12:31,880
vermek istiyorum. Açıkçası, basit sohbet

326
00:12:29,920 --> 00:12:33,920
uygulamaların çok fazlasına ihtiyacı yok

327
00:12:31,880 --> 00:12:36,880
bağlam. Ancak kod yapıyorsanız,

328
00:12:33,920 --> 00:12:39,520
eğer çok adımlı gibi yapıyorsanız

329
00:12:36,880 --> 00:12:41,320
dosya okuma ve bunun gibi şeyler gibi,

330
00:12:39,520 --> 00:12:42,720
ne kadar çok bağlam elde ederseniz, o kadar

331
00:12:41,320 --> 00:12:44,480
daha iyi.

332
00:12:42,720 --> 00:12:46,240
Şimdi, nihayet, sadece geçeceğiz

333
00:12:44,480 --> 00:12:48,120
gerçek modelde. Şimdi biz zaten

334
00:12:46,240 --> 00:12:52,600
modeller klasörüne giderek

335
00:12:48,120 --> 00:12:54,920
model dosyamızı içeri taşıdık.

336
00:12:52,600 --> 00:12:57,880
buraya tam anlamıyla adını kopyalıyorum

337
00:12:54,920 --> 00:13:00,080
dosyayı bunun yerine yapıştırın,

338
00:12:57,880 --> 00:13:01,760
ve orası maviye dönecek. Şimdi,

339
00:13:00,080 --> 00:13:04,240
enter tuşuna basın. Bu aslında olacak

340
00:13:01,760 --> 00:13:07,600
bu modeli çalıştırmamızı sağlar. Belki yapabilirim

341
00:13:04,240 --> 00:13:11,000
GPU geçmişimi buraya getir

342
00:13:07,600 --> 00:13:13,120
ve hatta etkinlik monitörüm.

343
00:13:11,000 --> 00:13:16,240
Zaten RAM'imizin olduğunu görebilirsiniz.

344
00:13:13,120 --> 00:13:17,600
tamamen bizimkilerle doldu

345
00:13:16,240 --> 00:13:19,040
modeli.

346
00:13:17,600 --> 00:13:20,680
Ah

347
00:13:19,040 --> 00:13:24,560
Peki.

348
00:13:20,680 --> 00:13:26,520
Ve şimdi Quen 3,6 35 milyar kullanıyorum

349
00:13:24,560 --> 00:13:28,320
parametreler modeli.

350
00:13:26,520 --> 00:13:31,200
En hızlısı değil ve biz de bunu yapıyoruz

351
00:13:28,320 --> 00:13:34,200
Yerli modellerden beklemek lazım,

352
00:13:31,200 --> 00:13:35,720
ama saniyede 53 jeton gibi mütevazi bir hızla,

353
00:13:34,200 --> 00:13:38,240
o kadar da kötü değil.

354
00:13:35,720 --> 00:13:39,680
Ve eğer llama.cpp'yi kullanmaktan memnunsanız

355
00:13:38,240 --> 00:13:42,040
bu şekilde ve modeli bu şekilde kullanmak

356
00:13:39,680 --> 00:13:44,040
böylece sana daha fazla güç verirsen işin biter. Ama

357
00:13:42,040 --> 00:13:45,320
Başka bir uygulamayı kullanmak istiyorsanız,

358
00:13:44,040 --> 00:13:47,680
onu başka bir uygulamaya taşımak istiyorsanız,

359
00:13:45,320 --> 00:13:49,600
kendi uygulamanızı oluşturmak istiyorsunuz veya

360
00:13:47,680 --> 00:13:51,440
buna benzer bir şey, gerçekten istediğimiz şey

361
00:13:49,600 --> 00:13:53,800
bunu iptal edip yukarıya basarsak,

362
00:13:51,440 --> 00:13:57,800
hangisi öncekine gidecek

363
00:13:53,800 --> 00:14:00,600
CLI'yi şu şekilde değiştirirsek çalıştırdığımız komut

364
00:13:57,800 --> 00:14:02,280
eğer doğru hatırlıyorsanız sunucu

365
00:14:00,600 --> 00:14:05,640
içinde

366
00:14:02,280 --> 00:14:09,280
build bin, ilgileneceğimizi söyledim

367
00:14:05,640 --> 00:14:10,360
lama sunucusu veya lama CLI, nerede olursa olsun

368
00:14:09,280 --> 00:14:12,560
öyle.

369
00:14:10,360 --> 00:14:14,560
Aslında sunucuyu kullanacağız

370
00:14:12,560 --> 00:14:15,839
Uygulamayı çağıralım. Yani eğer biz

371
00:14:14,560 --> 00:14:18,000
oraya vur, işe yarayacak

372
00:14:15,839 --> 00:14:21,240
bizi mümkün kılmak için yapması gereken her şey

373
00:14:18,000 --> 00:14:23,520
Bu modeli bölgemizde sunmak için

374
00:14:21,240 --> 00:14:25,600
makinede veya ağ üzerinden, eğer

375
00:14:23,520 --> 00:14:27,040
yapmayı seç. Yani bunu bekliyoruz.

376
00:14:25,600 --> 00:14:29,839
Ana sunucu dinliyor

377
00:14:27,040 --> 00:14:31,760
127.0.0.1:8080.

378
00:14:29,839 --> 00:14:34,720
Eğer buna tıklarsam onu aç

379
00:14:31,760 --> 00:14:37,480
tarayıcımız var ve basit bir kullanıcımız var

380
00:14:34,720 --> 00:14:38,480
Quen 3.6 modelini çalıştıran arayüz

381
00:14:37,480 --> 00:14:40,000
burada.

382
00:14:38,480 --> 00:14:41,440
Ve onunla sohbet edebilir ve her şeyi yapabilirsiniz.

383
00:14:40,000 --> 00:14:44,440
geri kalanı, ama biz gerçekten o değiliz

384
00:14:41,440 --> 00:14:46,200
kullanımımız için bir kullanıcı arayüzü kullanmakla ilgileniyorum

385
00:14:44,440 --> 00:14:48,800
dava. Şimdi yapacağım şey şu

386
00:14:46,200 --> 00:14:51,920
aslında etkinleştirmek için onu VS Koduna getirin

387
00:14:48,800 --> 00:14:53,800
bunu kod tabanlarında çalıştırmamız ve

388
00:14:51,920 --> 00:14:56,480
aslında onunla kodlayın.

389
00:14:53,800 --> 00:14:59,480
Yani, VS Code'u indirirseniz,

390
00:14:56,480 --> 00:15:01,520
tamamen ücretsiz ve önerdiğim şey

391
00:14:59,480 --> 00:15:03,720
Kilo Kodu uzantısını indirme,

392
00:15:01,520 --> 00:15:05,079
bu da yine tamamen ücretsizdir. Onlar

393
00:15:03,720 --> 00:15:07,079
kanalın gümüş sponsoru, ancak

394
00:15:05,079 --> 00:15:08,320
bu bölüme sponsor değiller

395
00:15:07,079 --> 00:15:11,480
ne olursa olsun.

396
00:15:08,320 --> 00:15:13,280
Burada ayarlarınıza girerseniz

397
00:15:11,480 --> 00:15:15,839
ve sağlayıcılar,

398
00:15:13,280 --> 00:15:18,839
farklı sağlayıcıların yaptığı budur

399
00:15:15,839 --> 00:15:21,640
AI sağlayan. Ve biz isteyeceğiz

400
00:15:18,839 --> 00:15:23,880
kendi özel sağlayıcımızı eklemek için. Şimdi biz

401
00:15:21,640 --> 00:15:25,640
lama.cpp'yi koyabilir,

402
00:15:23,880 --> 00:15:27,400
gerçekten istediğin herhangi bir şey ve sonra

403
00:15:25,640 --> 00:15:30,040
insan tarafından okunabilir

404
00:15:27,400 --> 00:15:32,520
bunun sürümü görünen addadır.

405
00:15:30,040 --> 00:15:35,360
URL'mizi buraya yapıştırırsak,

406
00:15:32,520 --> 00:15:37,800
127.0.0.1:8080,

407
00:15:35,360 --> 00:15:39,200
terminalde gördüğün şey

408
00:15:37,800 --> 00:15:40,839
burada,

409
00:15:39,200 --> 00:15:43,079
/v1,

410
00:15:40,839 --> 00:15:45,600
bu otomatik olarak toplanacak

411
00:15:43,079 --> 00:15:47,640
lama.cpp'yi çalıştırdığımız gerçeği

412
00:15:45,600 --> 00:15:49,360
ve sahip olduğumuz modeli buldu

413
00:15:47,640 --> 00:15:51,160
zaten yüklendi. Yani, biz gidiyoruz

414
00:15:49,360 --> 00:15:54,800
bunu oraya ekle

415
00:15:51,160 --> 00:15:56,800
ve bunu gönderin. Ve şimdi, tıkladığımızda

416
00:15:54,800 --> 00:15:59,880
buradaki model seçicide,

417
00:15:56,800 --> 00:16:03,880
tüm modelleri llama.cpp altında bulduk

418
00:15:59,880 --> 00:16:07,520
3,6 35 milyar Quen var. Ve ben sadece

419
00:16:03,880 --> 00:16:09,560
"Bu kod tabanı ne işe yarıyor?" diyeceğim

420
00:16:07,520 --> 00:16:11,959
yap?"

421
00:16:09,560 --> 00:16:14,040
Buradaki terminale geri dönersek,

422
00:16:11,959 --> 00:16:16,240
bu ilerlemenin arttığını göreceksiniz. Şimdi,

423
00:16:14,040 --> 00:16:18,240
bu ön doldurma. İşte bu yükleniyor

424
00:16:16,240 --> 00:16:20,320
ayağa kalktık ve sorularımıza cevap vermeye hazırlanıyoruz

425
00:16:18,240 --> 00:16:22,959
soru. Artık eski bir makinem var.

426
00:16:20,320 --> 00:16:25,480
Bu bir M1 Max'tir. Burası

427
00:16:22,959 --> 00:16:28,760
Çipinizin gerçek performansı geliyor

428
00:16:25,480 --> 00:16:30,520
gerçek VRAM boyutu üzerinden oyuna dahil olur.

429
00:16:28,760 --> 00:16:32,320
Bu eski bir çip. Alacak

430
00:16:30,520 --> 00:16:34,079
bunu yapmak için uzun bir süre. zaten şu aşamadayız

431
00:16:32,320 --> 00:16:35,680
0,27

432
00:16:34,079 --> 00:16:38,040
ve bu hızlı görünebilir

433
00:16:35,680 --> 00:16:40,920
başlıyor, ancak görmeye başlayacağız

434
00:16:38,040 --> 00:16:44,600
GPU yükselmeye başlıyor. Görmeye başlayacağız

435
00:16:40,920 --> 00:16:47,160
RAM sadece hafıza basıncını ve

436
00:16:44,600 --> 00:16:48,800
bellek kullanımı burada biraz artıyor.

437
00:16:47,160 --> 00:16:51,280
Ve bu sürekli devam edecek ve

438
00:16:48,800 --> 00:16:55,000
yuvarlak ve sonunda bir elde edeceğiz

439
00:16:51,280 --> 00:16:57,000
Kilo Kodunun içindeki yanıt. sen bir

440
00:16:55,000 --> 00:16:59,000
daha yeni bir makine, daha yeni bir çip, bu

441
00:16:57,000 --> 00:17:00,360
senin için çok daha hızlı olabilir ama benim için

442
00:16:59,000 --> 00:17:02,240
bu biraz zaman alır. Yani gitmiyoruz

443
00:17:00,360 --> 00:17:03,680
oturup bunu burada yapmak, ama sen

444
00:17:02,240 --> 00:17:06,199
sırtını sıvazlayabilir ve bilebilirsin

445
00:17:03,680 --> 00:17:09,199
yerel bir LLM'nizin çalıştığını

446
00:17:06,199 --> 00:17:11,160
Kilo Kodunun içi başlamaya hazır

447
00:17:09,199 --> 00:17:12,920
kodlama tamamen ücretsiz ve tamamen

448
00:17:11,160 --> 00:17:15,400
özel olarak. Videolar yaptığımı göreceksiniz

449
00:17:12,920 --> 00:17:17,760
M5 MacBook Pro ve MacBook'ta

450
00:17:15,400 --> 00:17:19,079
Air, o yüzden gidip bunları da kontrol et ve

451
00:17:17,760 --> 00:17:21,520
performansını görmeye başlayacaksınız

452
00:17:19,079 --> 00:17:22,959
yeni çiplerden bazıları, ama dürüst olmak gerekirse, ben

453
00:17:21,520 --> 00:17:25,199
sana burayı gösterdim çünkü biraz fazla

454
00:17:22,959 --> 00:17:27,280
kurulumu daha kolaydır. Şimdi burada Açık'ta

455
00:17:25,199 --> 00:17:29,679
Claw, bu da benzer bir anlaşma. Şimdi ben

456
00:17:27,280 --> 00:17:31,240
gidip herhangi bir arabayı çalıştırmazdım

457
00:17:29,679 --> 00:17:33,679
yapılandırıcılar veya buna benzer bir şey. ben

458
00:17:31,240 --> 00:17:36,600
kelimenin tam anlamıyla sadece config'e girerdim ve

459
00:17:33,679 --> 00:17:38,400
ham yapılandırmayı açın. Ve [kahkaha atıyor]

460
00:17:36,600 --> 00:17:41,440
buraya bakıyorum,

461
00:17:38,400 --> 00:17:44,160
modellerle, sağlayıcılarla ilgileniyorsunuz,

462
00:17:41,440 --> 00:17:45,640
ve burada LM Studio'nun olduğunu görebilirsiniz.

463
00:17:44,160 --> 00:17:48,760
Ollama'm var, MiniMax'ım var

464
00:17:45,640 --> 00:17:50,160
Portal ve ayrıca llama.cpp'im var

465
00:17:48,760 --> 00:17:51,960
eklendi. Bu istediğin herhangi bir şey olabilir.

466
00:17:50,160 --> 00:17:53,800
Bu sadece bir insan Bu sadece okunabilir bir şey

467
00:17:51,960 --> 00:17:55,800
sadece sete isim vermek için isim

468
00:17:53,800 --> 00:17:58,560
yapılandırmaları burada bulabilirsiniz.

469
00:17:55,800 --> 00:18:02,520
Ve bunları kopyalayın. Yani, sende

470
00:17:58,560 --> 00:18:05,280
temel URL ile tam olarak aynı

471
00:18:02,520 --> 00:18:08,000
V1 ile Kilo Kodunu girdik

472
00:18:05,280 --> 00:18:09,760
orada. API anahtarı istediğiniz herhangi bir şey olabilir

473
00:18:08,000 --> 00:18:12,880
istiyorum. Aslında olması gerekmiyor

474
00:18:09,760 --> 00:18:15,000
orada. API'nin OpenAI yanıtları olması gerekir

475
00:18:12,880 --> 00:18:17,600
çünkü format bu

476
00:18:15,000 --> 00:18:21,080
lama.cpp bekliyor. Ve sonra gidiyorsun

477
00:18:17,600 --> 00:18:23,720
bu model formatını eklemek istiyorum.

478
00:18:21,080 --> 00:18:25,160
Şimdi bunu kopyalayıp yapıştırırsanız,

479
00:18:23,720 --> 00:18:28,520
istediğin birkaç şey

480
00:18:25,160 --> 00:18:33,679
Kimlik olduğunu biliyorum. Ve bunu elde etme şeklimiz

481
00:18:28,520 --> 00:18:37,360
Kimlik, eğer HTTP iki nokta üst üste isteğini kıvırırsam

482
00:18:33,679 --> 00:18:37,360
um 127.0.0.1:8080,

483
00:18:38,640 --> 00:18:42,640
aslında vurabiliriz

484
00:18:40,400 --> 00:18:44,800
modeller. Ve bunlar şu modeller olacak:

485
00:18:42,640 --> 00:18:46,640
bizde. Bunu görmek biraz zor

486
00:18:44,800 --> 00:18:48,919
ama dikkatli bakarsanız bir kimlik var

487
00:18:46,640 --> 00:18:50,440
burada. Birden fazla sahip olabilirsiniz

488
00:18:48,919 --> 00:18:52,600
burada sadece isteyip istemediğinize bağlı olarak

489
00:18:50,440 --> 00:18:54,840
bu bilgiyi kaydedin. Yani, istiyorsun

490
00:18:52,600 --> 00:18:56,760
kimliği buraya koymak ve ardından ona bir ad vermek için

491
00:18:54,840 --> 00:18:58,720
insan tarafından okunabilen ad. Ve sonra bir sonraki

492
00:18:56,760 --> 00:19:00,440
bit modelin kendisine özgü olacaktır.

493
00:18:58,720 --> 00:19:02,200
Ve bağlam boyutunu hatırlayacaksınız çünkü

494
00:19:00,440 --> 00:19:04,040
aslında bunu buraya aktardık. Yani eğer

495
00:19:02,200 --> 00:19:05,280
sadece bunu seçip kopyalıyorsunuz.

496
00:19:04,040 --> 00:19:06,960
gittiğin tek değerler bunlar

497
00:19:05,280 --> 00:19:08,159
dokunmak istemek. Ve bununla şunları yapabilirsiniz:

498
00:19:06,960 --> 00:19:10,280
kaydet

499
00:19:08,159 --> 00:19:12,000
o dosya,

500
00:19:10,280 --> 00:19:13,919
Açık Pençe'ye gidin ve kelimenin tam anlamıyla sadece

501
00:19:12,000 --> 00:19:15,640
yenileyin.

502
00:19:13,919 --> 00:19:17,960
Ve sohbetinize girdiğinizde,

503
00:19:15,640 --> 00:19:19,600
bu listenin alt kısmını görmeliyim

504
00:19:17,960 --> 00:19:21,760
burada,

505
00:19:19,600 --> 00:19:23,280
senin modelin. Üstelik kaydırırsak

506
00:19:21,760 --> 00:19:26,480
burada,

507
00:19:23,280 --> 00:19:28,760
acentelerin varsayılan modeline gidersek

508
00:19:26,480 --> 00:19:30,679
birincil, gideceğiniz yer burası

509
00:19:28,760 --> 00:19:32,720
isteyip istemediğinizi ayarlamak istiyorum

510
00:19:30,679 --> 00:19:34,960
birincil modeliniz olmak ya da onu istiyorsunuz

511
00:19:32,720 --> 00:19:36,600
bir geri dönüş olmak. Ve sen temelde sadece

512
00:19:34,960 --> 00:19:39,560
sağlayıcı adını kopyalıyoruz;

513
00:19:36,600 --> 00:19:42,360
C lama.cpp olarak adlandırıldı ve sonra gidiyorsun

514
00:19:39,560 --> 00:19:45,360
kimliği kopyalamak istemek

515
00:19:42,360 --> 00:19:47,159
ve bunu eğik çizgiden sonra koyun.

516
00:19:45,360 --> 00:19:49,000
Bu, her başlattığınızda anlamına gelir

517
00:19:47,159 --> 00:19:51,400
yeni bir sohbet, makineyi hissetmeye başla

518
00:19:49,000 --> 00:19:53,280
tombul ol.

519
00:19:51,400 --> 00:19:55,600
%19

520
00:19:53,280 --> 00:19:57,960
%29. Şimdi genel olarak şunları yapacaksınız:

521
00:19:55,600 --> 00:19:59,840
üzerinde çok fazla şeyin çalışmasını istemiyorum

522
00:19:57,960 --> 00:20:02,520
bu süre zarfında dizüstü bilgisayar çünkü her şey

523
00:19:59,840 --> 00:20:04,000
kullandığınız VRAM'ı kaplayacak, kaplayacak

524
00:20:02,520 --> 00:20:07,560
çünkü birleşik, bu zaman alacak

525
00:20:04,000 --> 00:20:08,920
RAM'i de yükseltin. Yani, şöyle düşünmeye eğilimliyim

526
00:20:07,560 --> 00:20:12,000
bu

527
00:20:08,920 --> 00:20:14,400
ayrı bir bilgisayara sahip olmak, ister

528
00:20:12,000 --> 00:20:16,200
Open Claw için bir Mac mini ile başlıyoruz

529
00:20:14,400 --> 00:20:18,000
almak için biraz daha haklı ol

530
00:20:16,200 --> 00:20:20,160
ayrı bir Mac mini. Yani, sadece bende var

531
00:20:18,000 --> 00:20:22,320
ayrı bir bilgisayarda çalışıyor

532
00:20:20,160 --> 00:20:25,800
arka tarafta. Ve kodlama için gerçekten

533
00:20:22,320 --> 00:20:27,960
uzak bir yerel sunucu kurmak istiyorum

534
00:20:25,800 --> 00:20:28,680
böylece yapabilirim yapabilirim

535
00:20:27,960 --> 00:20:30,400
hım

536
00:20:28,680 --> 00:20:31,960
bağlanabildiğim ve gerçekten kodlayabildiğim

537
00:20:30,400 --> 00:20:33,720
ana makinemde, ancak işlem

538
00:20:31,960 --> 00:20:35,160
farklı bir bilgisayarda oluyor.

539
00:20:33,720 --> 00:20:36,440
Bu videoyu istiyorsanız bize bildirin, ancak

540
00:20:35,160 --> 00:20:38,720
bu arada bu şekilde elde edilir

541
00:20:36,440 --> 00:20:41,040
hepsi ana makinenizde kurulu.

542
00:20:38,720 --> 00:20:42,560
Ve işte başlıyoruz. ah var

543
00:20:41,040 --> 00:20:44,360
Az önce çevrimiçi oldum. Ben senin yapay zekanım

544
00:20:42,560 --> 00:20:46,280
asistanı. Open'a gitmeye hazırız

545
00:20:44,360 --> 00:20:48,720
Pençe. İşte buyurun. umarım sen

546
00:20:46,280 --> 00:20:51,000
yerel yapay zekayı kurmaktan keyif aldım

547
00:20:48,720 --> 00:20:52,840
makineniz. Sıfır sorun yaşadım

548
00:20:51,000 --> 00:20:55,280
Açık Pençe ile. Sıfır sorun yaşadım

549
00:20:52,840 --> 00:20:57,480
Kobold Claw yerel modelleri çalıştırıyor

550
00:20:55,280 --> 00:20:59,240
bu yöntemi kullanarak. Ve bunun da ötesinde,

551
00:20:57,480 --> 00:21:00,880
gibi bazı ileri teknolojileri kullanarak

552
00:20:59,240 --> 00:21:02,800
Turbo Quant. Ne olduğunu bana bildir

553
00:21:00,880 --> 00:21:05,600
yerel LLM'lerinizi kullanarak, göreceğim

554
00:21:02,800 --> 00:21:05,600
bir sonrakinde sen.